Polarization Measurement of High Dimensional Social Media Messages With Support Vector Machine Algorithm Using Mapreduce

Bu çalışmada önerilen yöntem kullanılarak, Eşle/İndirge (MapReduce) tekniği ile özellikle TFxIDF yöntemi gibi yüksek boyutlu veri setlerinin, veri madenciliğinde oldukça sık kullanılan makine öğrenme algoritmalarından olan Destek Vektör Makinesi (DVM) ile uygulanabilirliğini anlatılmaktadır. Literatürde, DVM sınıflandırma algoritması, makine öğrenmesi yöntemleri arasında genelleştirme özelliği en yüksek ve nitelikler arasında yer alan korelasyondan etkilenmeyen bir yöntem olduğunu gösteren birçok çalışma mevcuttur. Fakat DVM yöntemi eğitim aşamasında kuadratik optimizasyon yöntemleri kullanmasından dolayı zaman karmaşıklığı O(m) ve alan karmaşıklığı O(m) şeklindedir. Bu nedenle DVM, yüksek boyutlu veri setlerinin sınıflandırılmasında kullanılacak hipotezin çıkarımı esnasında uygulanabilir olmaktan çıkmaktadır. Bu soruna çözüm olarak geliştirilen yöntemde, dağıtık Eşle/İndirge yöntemiyle alt veri setlerinin oluşturulması, her bir alt veri seti kullanılarak ortaya çıkan sınıflandırma hipotezinin destek vektörlerinin birleşimi, yinelemeli olarak tekrar kullanımıyla eğitilmesi anlatılmaktadır. Çalışmanın uygulama kısmında, yüksek boyutlu sosyal medya mesaj veri setinin TFxIDF yöntemi ile gösterimi ve bu sayısal veri setinin duygu analizi (sentiment analysis) ile kutupsal değerinin ölçümü anlatılmaktadır. Sınıflandırma yöntemi olarak iki ve üç sınıflı modeller oluşturulmuştur. Her bir sınıflandırma modelinin karmaşıklık matrisi tablolar ile gösterilmiştir Sosyal medya mesaj derlemi Türkiye'de bulunan 108 devlet ve 66 adet vakıf üniversitesi mesajlardan oluşmaktadır. Derlem için kaynak olarak Twitter kullanılmıştır. Twitter kullanıcıların mesajları Twitter Streaming API ile elde edilmiştir. Sonuçlar grafik ve tablolar ile paylaşılmıştır. Anahtar Kelimeler: Büyük Veri, Destek Vektör Makinesi, Eşle/İndirge, Makine Öğrenmesi, Sosyal Medya